超越TurboQuant：Together AI把2-bit KV Cache推向真实服务
超越TurboQuant：Together AI把2-bit KV Cache推向真实服务长上下文模型越来越能“记”，但真正让它们跑到线上时，最先顶不住的往往不是算力，而是KV Cache。
来自主题: AI技术研报
5259 点击 2026-06-05 09:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
长上下文模型越来越能“记”，但真正让它们跑到线上时，最先顶不住的往往不是算力，而是KV Cache。
MiniMax M2.7 在今天正式开源。我们和华为昇腾、摩尔线程、沐曦、昆仑芯、NVIDIA，以及 Together AI、Fireworks、Ollama 等海内外芯片厂商、推理平台携手，在开源首日即完成模型接入与推理适配工作，推动全球 AI 生态繁荣发展。
当大多数人还在抱怨传统工单系统的笨重时，一家叫做 Pylon 的公司却在短短18个月内完成了从种子轮到B轮总计5100万美元的融资，估值飙升至8亿美元。更令人震惊的是，他们已经吸引了780多家快速增长的公司，包括 Together AI、Cognition 和 Temporal，其中超过150家公司主动从 Zendesk、Intercom 等老牌平台迁移过来。
OpenAI o1/o3-mini级别的代码推理模型竟被抢先开源！UC伯克利和Together AI联合推出的DeepCoder-14B-Preview，仅14B参数就能媲美o3-mini，开源代码、数据集一应俱全，免费使用。
美国AI云服务商Together AI宣布完成3.05亿美元B轮融资，估值高达33亿美元！该公司押注开源模型，提供包括DeepSeek-R1在内的200多个模型API服务，并出租GPU算力，年收入已超1亿美元。